Descente de gradient

En bref

Descente de gradient : algorithme d'optimisation qui converge vers le minimum d'une fonction convexe
(Minimum local, Fonction convexe)

Algorithme

Algorithme de la descente de gradient :

on commence avec un point pris au hasard sur la courbe
tant que l'on n'a pas atteint le minimum local :
on regarde dans quelle direction la dérivée est la plus petite
on fait un petit pas dans cette direction $$a_{i+1}=a_i-\alpha\frac{\partial J(a_i)}{\partial a}$$ avec $\alpha$ le learning rate

Exercices

Soit$f(x)=x^2-6x+10$. Calculer numériquement les premières étapes de la descente de gradient en partant de $a_0=5$ avec $\delta=0.01$

Calcul du gradient en $a_0$
$f^\prime(a_0)=2a_0-6=4$

Descente de gradient

$a_1=a_0-\delta f^\prime(a_0)=4.6$
$a_2=a_1-\delta f^\prime(a_1)=4.28$
$a_3=4.02$
$a_4=3.81$

(Dérivée - Dérivation)

Soit $f(x,y)=x^2+(x-y^2)^2$
Calculer numériquement les premières étapes de la descente de gradient en partant de $(a_0,b_0)=(3,1/2)$ avec $\delta=0.2$

Calcul du gradient
$$\operatorname{grad} f(x,y)=\begin{pmatrix}4x-2y^2\\ -4y(x-y^2)\end{pmatrix}$$

Descente de gradient

$$\begin{array}{c|c|c|c}k&(a_k,b_k)&\operatorname{grad} f(a_k,b_k)&f(a_k,b_k)\\ \hline0&(3,0.5)&(11.5,-5,5)&16,56\\ 1&(0.7,1.6)&(-2.32,11.90)&3.94\\ 2&(1.16,-0.78)&(3.43,1.73)&1.66\\ \vdots&\vdots&\vdots&\vdots\\ 7&(0.13,-0.46)&(0.10,-0.15)&0.02\end{array}$$

(Gradient)

Math'φsics

Formulaire de report

En bref

Algorithme

Exercices